自我监督学习(SSL)利用基础数据结构来生成培训深网络的监督信号。这种方法提供了一种实用的解决方案,可用于学习多重免疫荧光大脑图像,其中数据通常比人类专家注释更丰富。基于对比度学习和图像重建的SSL算法表现出令人印象深刻的性能。不幸的是,这些方法是在自然图像而不是生物医学图像上设计和验证的。最近的一些作品已应用SSL来分析细胞图像。然而,这些作品均未研究SSL对多重免疫荧光脑图像的研究。这些作品还没有为采用特定的SSL方法提供明确的理论理由。在这些局限性的激励下,我们的论文介绍了从信息理论观点开发的一种自我监督的双损坏自适应掩盖自动编码器(DAMA)算法。 Dama的目标函数通过最大程度地降低像素级重建和特征级回归中的条件熵来最大化相互信息。此外,Dama还引入了一种新型的自适应掩码采样策略,以最大程度地提高相互信息并有效地学习脑细胞数据上下文信息。我们首次在多重免疫荧光脑图像上提供了SSL算法的广泛比较。我们的结果表明,Dama优于细胞分类和分割任务的其他SSL方法。 Dama还可以在Imagenet-1k上实现竞争精确度。 Dama的源代​​码可在https://github.com/hula-ai/dama上公开获得
translated by 谷歌翻译
Modern deep neural networks have achieved superhuman performance in tasks from image classification to game play. Surprisingly, these various complex systems with massive amounts of parameters exhibit the same remarkable structural properties in their last-layer features and classifiers across canonical datasets. This phenomenon is known as "Neural Collapse," and it was discovered empirically by Papyan et al. \cite{Papyan20}. Recent papers have theoretically shown the global solutions to the training network problem under a simplified "unconstrained feature model" exhibiting this phenomenon. We take a step further and prove the Neural Collapse occurrence for deep linear network for the popular mean squared error (MSE) and cross entropy (CE) loss. Furthermore, we extend our research to imbalanced data for MSE loss and present the first geometric analysis for Neural Collapse under this setting.
translated by 谷歌翻译
Air pollution is an emerging problem that needs to be solved especially in developed and developing countries. In Vietnam, air pollution is also a concerning issue in big cities such as Hanoi and Ho Chi Minh cities where air pollution comes mostly from vehicles such as cars and motorbikes. In order to tackle the problem, the paper focuses on developing a solution that can estimate the emitted PM2.5 pollutants by counting the number of vehicles in the traffic. We first investigated among the recent object detection models and developed our own traffic surveillance system. The observed traffic density showed a similar trend to the measured PM2.5 with a certain lagging in time, suggesting a relation between traffic density and PM2.5. We further express this relationship with a mathematical model which can estimate the PM2.5 value based on the observed traffic density. The estimated result showed a great correlation with the measured PM2.5 plots in the urban area context.
translated by 谷歌翻译
预测基金绩效对投资者和基金经理都是有益的,但这是一项艰巨的任务。在本文中,我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估,该比例代表了风险调整的绩效,以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率,该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现,经过现代贝叶斯优化训练的长期短期记忆(LSTM)和封闭式复发单元(GRUS)深度学习方法比传统统计量相比,预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法,可以实现所有模型的最佳性能。有证据表明,深度学习和结合能提供有希望的解决方案,以应对基金绩效预测的挑战。
translated by 谷歌翻译
我们分析了通过从源到目标任务转移学习训练的深度学习模型的新泛化界限。我们的边界利用一个称为多数预测器准确性的数量,可以从数据中有效地计算出来。我们表明我们的理论在实践中很有用,因为这意味着大多数预测指标的准确性可以用作可转移性度量,这一事实也通过我们的实验验证。
translated by 谷歌翻译
我们提出了一个数据收集和注释管道,该数据从越南放射学报告中提取信息,以提供胸部X射线(CXR)图像的准确标签。这可以通过注释与其特有诊断类别的数据相匹配,这些数据可能因国家而异。为了评估所提出的标签技术的功效,我们构建了一个包含9,752项研究的CXR数据集,并使用该数据集的子集评估了我们的管道。以F1得分为至少0.9923,评估表明,我们的标签工具在所有类别中都精确而始终如一。构建数据集后,我们训练深度学习模型,以利用从大型公共CXR数据集传输的知识。我们采用各种损失功能来克服不平衡的多标签数据集的诅咒,并使用各种模型体系结构进行实验,以选择提供最佳性能的诅咒。我们的最佳模型(CHEXPERT-FRECTER EDIDENENET-B2)的F1得分为0.6989(95%CI 0.6740,0.7240),AUC为0.7912,敏感性为0.7064,特异性为0.8760,普遍诊断为0.8760。最后,我们证明了我们的粗分类(基于五个特定的异常位置)在基准CHEXPERT数据集上获得了可比的结果(十二个病理),以进行一般异常检测,同时在所有类别的平均表现方面提供更好的性能。
translated by 谷歌翻译
无人驾驶汽车(UAV)在许多领域都受雇于摄影,紧急,娱乐,国防,农业,林业,采矿和建筑。在过去的十年中,无人机技术在许多施工项目阶段中找到了应用程序,从现场映射,进度监控,建筑物检查,损坏评估和材料交付等等。尽管已经对无人机在各种施工相关的过程中的优势进行了广泛的研究,但关于提高任务能力和效率的无人机协作的研究仍然很少。本文提出了一种基于塔格狩猎游戏和粒子群优化(PSO)的多个无人机的新合作路径计划算法。首先,定义了每个无人机的成本函数,并包含多个目标和约束。然后,开发了无人机游戏框架,以将多功能路径计划制定到寻找回报优势均衡的问题。接下来,提出了基于PSO的算法来获得无人机的最佳路径。由三个无人机检查的大型建筑工地的仿真结果表明,在检查任务期间,提出的算法在为无人机形成的可行和高效飞行路径生成可行,高效的飞行路径上的有效性。
translated by 谷歌翻译
根据认知心理学和相关学科,生物学剂中复杂的解决问题行为的发展取决于等级认知机制。分层增强学习是一种有前途的计算方法,最终可能在人工代理和机器人中产生可比的解决问题的行为。但是,迄今为止,许多人类和非人类动物的解决问题能力显然优于人造系统的能力。在这里,我们提出了整合生物学启发的层次机制的步骤,以实现人造代理中的高级解决问题的技能。因此,我们首先回顾了认知心理学中的文献,以强调构图抽象和预测性处理的重要性。然后,我们将获得的见解与当代分层的强化学习方法联系起来。有趣的是,我们的结果表明,所有确定的认知机制均已在孤立的计算体系结构中单独实施,这提出了一个问题,为什么没有单个统一体系结构可以集成它们。作为我们的最终贡献,我们通过对开发这种统一体系结构的计算挑战的综合观点来解决这个问题。我们希望我们的结果可以指导更复杂的认知启发的分层机器学习体系结构的发展。
translated by 谷歌翻译
跨核心联合学习利用了几百个可靠的数据筒仓,并具有高速访问链接,共同训练模型。尽管这种方法成为联合学习中的流行环境,但设计出强大的拓扑以减少训练时间仍然是一个开放的问题。在本文中,我们提出了一种用于跨核心联合学习的新的多编码拓扑。我们首先使用覆盖图构造多式图。然后,我们将此多数分析为具有孤立节点的不同简单图。隔离节点的存在使我们能够执行模型聚合而无需等待其他节点,从而减少训练时间。我们进一步提出了一种新的分布式学习算法,以与我们的多编码拓扑一起使用。公共数据集的密集实验表明,与最近的最新拓扑相比,我们提出的方法大大减少了训练时间,同时确保收敛并保持模型的准确性。
translated by 谷歌翻译
自我监督的学习(SSL)方法正在实现越来越多的深度学习模型,可以在难以获得标签的域中的图像数据集上进行培训。但是,这些方法难以扩展到医学成像数据集的高分辨率,在这些数据集中,它们对于在标签 - 筛选医学图像数据集上良好的概括至关重要。在这项工作中,我们提出了组织病理学数据集体(HDGAN)框架,该框架是图像生成和分割的数据集团半监督框架的扩展,可很好地扩展到大分辨率的组织病理学图像。我们从原始框架中进行了几个改编,包括更新生成骨干,从发电机中选择性提取潜在功能以及切换到内存映射数组。这些变化减少了框架的记忆消耗,改善了其对医学成像域的适用性。我们在血栓形成微型病变高分辨率瓷砖数据集上评估HDGAN,这表明高分辨率的图像通量生成任务的性能很强。我们希望这项工作能够在医学成像域中更多地探索对医学成像域中的自我监管框架的更多探索,从而使更多深度学习模型在医学数据集中进行更多应用。
translated by 谷歌翻译